понятие теории информации. Наличие избыточности в записи
сообщений какого-либо источника информации (См.
Информация) проявляется в возможности записать эти сообщения в среднем более кратко, используя те же самые знаки (то есть заменяя код на другой с тем же алфавитом; см.
Код,
Кодирование). Например, если рассматриваемые сообщения представляют собой последовательности знаков 0 и 1, в которых единица встречается в среднем один раз на десять знаков, то, применяя кодирование по правилу
00 → 0, 01 → 10, 10 → 110, 11 → 111,
можно сократить запись почти вдвое. Максимальная доля "лишних" знаков определяется по статистическим свойствам рассматриваемого источника
сообщений и также называется его избыточностью. В этом понимании И. с.
R определяется по формуле
где
m - число букв алфавита, а
Н -
Энтропия источника на букву сообщения. Можно подсчитать, что в приведённом примере И. с. равна 0,53. Минимальной И. с.
R = 0 обладает только последовательность, в которой знаки независимы и с вероятностью 1/
m могут быть равны любой из
m букв алфавита.
Практически важен вопрос об оценке избыточности конкретных форм сообщений (таких, как письменная и устная речь, фототелеграммы, телевизионные изображения). Величина И. с. в них оказывается обычно значительной. Так, например, И. с. английской письменной речи не менее 0,6. Большая избыточность позволяет лучше распознать передаваемые сообщения при наличии помех в каналах связи. С этой точки зрения не всегда следует стремиться к уменьшению И. с.
Ю. В. Прохоров.